Elad Gil：我对 AI 了解的越多，对它知道的就越少

为了提供更好的产品体验和更多服务的可能性，这段时间在对 Memo 做产品和数据的重构迁移，为了不给大家带来不必要的困扰，这段时间没有做内容的更新。

今天整个迁移基本上已经完成并在持续优化产品的体验，目前在前端我们已经优化了登录这块的体验，除了支持之前的 PC 端微信扫码登录和手机号登录外，现在新增了微信直接登录和 Email 邮箱登录（注意：每个登录方式都是彼此独立的，如果你之前的会员是通过手机号登录的，后续请保持手机号登录，互相绑定功能暂未开放）。目前产品各方面可能都存在一些 Bug，如果你在使用过程中遇到什么问题，欢迎给我们反馈。

这近 1 个月的时间，AI 领域又发生了巨大的变化，特别是 OpenAI 推出的视频生成模型 Sora，其呈现的结果确实惊艳到了整个 AI 行业。今天，Anthropic 推出了下一代的 Claude 3 模型，声称在很多方面已经超越了 GPT-4 和其它模型（如下图），并提供了 3 个版本 Opus、Sonnet 和 Haiku。

Anthropic 在官方网站声称，Claude 3 模型提供了近乎即时的结果 ，可以支持实时客户聊天、自动完成和数据提取任务，其中响应必须立即且实时。其中 Haiku 这个版本可以在不到三秒的时间内阅读 arXiv 上包含图表和图形的信息和数据密集的研究论文（约 10k token），并且后续还会进一步提高性能。

Sonnet 这个版本的速度比 Claude 2 和 Claude 2.1 快了 2 倍，且智能水平更高。它擅长执行需要快速响应的任务，例如知识检索或销售自动化等。而 Opus 的速度与 Claude 2 和 2.1 相似，但智能水平更高。

除此之外，Claude 3 提供了强大的视觉能力 ，可以处理各种视觉格式，包括照片、图表、图形和技术图表等。在上下文这块，这 3 个版本都能够接受超过 100 万个 token 的输入，并且具有了更加强大的回忆（Recall）能力，Anthropic 说 Opus 这个版本在测试过程中 Recall 的准确率超过了 99%。

对于关注这个行业的人来说，这种迭代速度确实会时不时给我们带来一些被 AI 取代的焦虑。而更大的焦虑感，可能在于 AI 这波浪潮的发展路径，可能并不一定会沿着我们之前几次技术革命的路径发展，也就是有了更多的不确定性。就像 Elad Gil 在最近一篇文章里所说的那种感觉：我对 AI 了解的越多，对它知道的似乎就越少。

Elad Gil 在 2 月 24 日发表了一篇题为《Things I Don't Know About AI》的文章，我读完后深有同感。这里做一些分享，Elad 说，

在大多数市场中，时间越长，事情就会变得越清晰。在 AI 中，情况恰恰相反。时间越长，我认为我真正理解的就越少。

对于 AI 堆栈的每个层级（如下图），Elad 说他都有一些悬而未决问题。首先对于 LLM，Elad 将其分为两种类型：前沿模型（类似 GPT-4 这种性能最前沿的模型）和其它模型，前沿模型随着对资本和算力规模的需求，将会成为一个寡头垄断的市场，而非前沿模型将更多地由商品/定价驱动，并具有更强大的开源模型，这个方向目前似乎都是对的。

前沿模型的训练成本越来越高（这里的前沿模型 Elad 认为有 OpenAI、Google 以及 Anthropic 等闭源模型，以及开源模型 Llama (Meta) 和 Mistral 等，可能会随时间的变化而变化），而商品模型的价格随着性能的提高而逐年下降（例如，现在训练 GPT-3.5 等效项可能比 2 年前便宜约 5 倍）。

随着模型规模变得越来越大，资金越来越多地主要来自云提供商/大型科技公司。比方说微软向 OpenAI 投资了 100 亿美元，而 Anthropic 在亚马逊和 Google 之间筹集了 70 亿美元，NVIDIA 也是多种类型基础模型公司的重要投资者。相比之下，VC 投资只是沧海一粟。当然还有一些政府可能会支持本地的大模型产品。

值得注意的是，这些云提供商投资的钱与它们的云产品收入相比，基本上微不足道。微软的 Azure 每季度产生 250 亿 美金的收入，其对 OpenAI 100 亿美元的投资相当于 Azure 在 6 周时间产生的收入。而 AI 最近对 Azure 的收入产生了巨大影响，AI 为 Azure 2024 年第二季度的增长贡献了 6 个百分点，这意味着它一年能给其带来 50-60 亿美元的收入（或 OpenAI 投资的 50%）。虽然收入不是净利润，但这仍然令人震惊，这表明随着时间的推移，大的云供应商有经济理由为更大规模的 AI 模型企业提供资金。

与此同时，Meta 在 Llama 模型方面取得了出色的成就，并最近宣布了 200 亿美元的预算，部分用于资助大规模模型训练。Elad 在 18 个月前就认为， AI 模型应该会有一个开源赞助商出现，当时他假设这可能是亚马逊或英伟达，而不太可能是 Meta，因此 Zuckerberg 和 Yann Lecunn 在这方面非常具有远见。

而 LLM 存在的一些问题：

• 云服务提供商是否正在通过其提供的计算/资本规模锁定少数玩家并在边缘市场上推动寡头垄断？云服务提供商何时停止资助新的 LLM，而继续资助现有公司？云服务提供商很容易成为基础模型最大的资助者，而不是风险投资者。鉴于他们受到 FTC 的行动限制，并且来自云使用的收入，这对他们来说是合理的。这可能导致/已经导致了一些市场动态失真。这如何影响 LLM 长期经济和市场结构？这是否意味着由于缺乏足够的资本和人才支持新进入者，我们将很快看到新兴边缘 LLM 公司的消失？或者他们会继续为大型模型提供资金，希望其中一些能转化为收入？

• OSS 模型是否将一些 AI 经济学从基础模型转移到云端？Meta 是否继续资助开源模型？如果是的话，例如 Llama-N是否能赶上最前沿？一个完全开源的模型在 AI 领域的最前沿表现出潜力，可以将 AI 基础设施的经济份额从 LLMs 转向云和推理提供商，并减少其他 LLM 基础模型公司的收入。再次强调，这很可能是一个寡头市场，没有单一赢家（除非考虑到 AGI），但对于如何思考该市场中云和基础设施公司相对重要性有着影响（当然两者都可能非常重要！）。

• Llama2 使用条款中最出彩的一点在于，如果用户数量少于 7 亿，则可以开放商业使用许可。这显然会阻止一些大型竞争对手使用其模型。但这也意味着，如果你是一家大型云计算提供商，你需要向 Meta 公司支付 Llama 的使用许可，而微软已经这么做了。尽管 Llama 是开源的，但这为 Meta 控制（和盈利）Llama 创造了一种有趣的长期方式。

• 我们如何考虑模型的速度和价格与性能？我们可以想象，即使是极其缓慢但性能卓越的模型，与普通人类的速度相比，也可能会非常有价值。最新的 Gemini 模型似乎正在朝着这个方向发展，大型上下文窗口和深度理解可以真正改变我们对人工智能应用和工程的看法。另一方面，Mistral 已经展示了小型、快速、廉价的推理性能模型的价值。

• 基础模型的架构将如何演变？具有不同架构的主体模型是否包含了 LLM 的一些未来潜力？其他形式的记忆和推理是在什么时候发挥作用？

• 各国政府是否会支持（或直接向）地区性人工智能领军企业采购？除了云服务提供商和全球大型科技公司，潜在资本的另一大来源是国家，现在欧洲（如 Mistral）、日本、印度、阿联酋、中国和其他国家都有类似的企业。X.ai 和 Google 或许也将是一个重要的角色。

基础设施公司这块：

AI 基础设施中最大的不确定性和问题与 AI 云堆栈及其演变有关。似乎初创公司和企业对 AI 云服务有非常不同的需求。对于初创公司来说，新的云提供商和工具（比如 Anyscale、Baseten、Modal、Replicate、Together等）似乎正在走一条有用的道路，导致快速采用和收入增长。

而对于往往有特殊需求的企业来说，存在一些悬而未决的问题：

1. 当前的 AI 云公司是否需要为大型企业构建其产品的本地/BYOC/VPN 版本？企业似乎会针对以下方面进行优化：(a) 使用他们已经有预算的现有云市场积分来购买服务；(b) 由于延迟和性能问题会犹豫是否要从其 Web 应用程序/数据托管位置（即 AWS、Azure、 GCP) ；(c) 会关心安全性、合规性（FedRAMP、HIPAA 等）。AI 云的短期初创市场可能与长期企业需求不同。

2. AI 云的采用有多少是由于 GPU/GPU arb 受限所致？在主要云提供商缺乏 GPU 的情况下，各公司都在争先恐后地寻找足够的 GPU 来满足自己的需求，从而加速采用自己的 GPU 云的新初创公司。NVIDIA 可能采取的一项潜在策略是优先将 GPU 分配给这些新供应商，以降低超大规模厂商的议价能力并分割市场，并通过初创公司加速行业发展。GPU 瓶颈何时结束？这对新的人工智能云提供商有何影响？似乎主要云上 GPU 短缺的结束对于那些唯一业务是 GPU 云的公司来说是负面的，而如果这种情况发生，那些拥有更多工具和服务的公司应该会更容易过渡。

3. Groq 等新的人工智能 ASICS 如何影响人工智能云？

4. 还有什么可以整合到 AI 云中？他们交叉销售嵌入和 RAG 吗？持续更新？微调？其他服务？这对数据标签商或其他提供重叠产品的人有何影响？与通过云相比，什么可以直接整合到模型提供商中？

5. AI 云公司可能采取的商业模式？目前 AI 云公司实际上有两个细分市场（a）初创公司（b）中端市场和企业。“仅 GPU”商业模式默认适用于初创企业（云需求较少），但对于大型企业来说，采用可能更多地受到主要平台上 GPU 云限制的推动。提供开发人员工具、API 端点和/或专用硬件或其他方面的公司是否会演变成其他两个类似的模型：(1) “Snowflake/Databricks for AI”模型或 (2) “Cloudflare for AI”？如果有，哪些采用哪种模式。

6. 新的 AI 云能有多大？像 Heroku、Digital Ocean、Snowflake 或 AWS 那样大？这类公司的成果和利用规模有多大？

7. AI 堆栈如何随着非常长的上下文窗口模型而演变？我们如何思考上下文窗口和提示工程、微调、RAG 以及推理成本之间的相互作用？

App 应用层的问题：

ChatGPT 是许多 AI 创始人的起点。在 ChatGPT 之前（也就是 Midjourney 和 Stable Diffusion 之前），大多数科技人员并没有密切关注我们现在正在经历的 Transformer/Diffusion 模型的革命性和颠覆性。

这意味着最接近模型和技术的人——即人工智能研究人员和基础设施工程师——是第一批离开并基于这项技术创办新公司的人。远离核心模型世界的人——许多产品工程师、设计师和项目经理，直到现在才意识到人工智能的重要性。（其实这也是最近与朋友在探讨的一个话题，就目前而言，AI 领域最顶级的创业者基本上都是那些研究人员，一个是他们最接近最新研究，另一个原因在于门槛太高了，所以 AI 这波创业目前阶段对于普通人而言，门槛是要更高的）。

ChatGPT 于 ~15 个月前推出。如果决定辞职需要 9-12 个月，需要几个月的时间来做，需要几个月的时间与联合创始人一起集思广益，因此我们可能将开始看到一波应用产品构建者现在/很快将出现。而这里的问题在于：

• B2B 应用程序。在新兴的 B2B 应用浪潮中，哪些公司和市场将是重要的？现有企业在哪些方面会比初创公司获得价值？

• C 端消费领域。可以说，一些最早的人工智能产品是面向消费者或“专业消费者”的，即在个人和企业场景中都有使用。像 ChatGPT、Midjourney、Perplexity 和 Pika 这样的应用就是这种情况的例子。话虽如此，为什么 AI 生态系统中缺乏 C 端产品构建者呢？纯粹是上述提到的时间延迟吗？2007 年至 2012 年社交产品群体已经老去了，需要新鲜血液来打造下一个伟大的 AI 消费浪潮。

• Agents，Agents 可能会发生很多很多事情。与寻找使用场景的初创公司相比，哪些产品领域是需要重点关注的？

Elad Gil 说，这是他一生中技术领域最激动人心、变化最快的时刻之一，期待看到每个人构建有趣的东西，但以上这些问题也是他目前还没有想明白的地方。 

·END·

Memo: Signal, not noise!

扫码或点击「阅读原文」继续阅读更多内容